期刊
  出版年
  关键词
结果中检索 Open Search
Please wait a minute...
选择: 显示/隐藏图片
1. 融合注意力机制的时间卷积知识追踪模型
邵小萌, 张猛
《计算机应用》唯一官方网站    2023, 43 (2): 343-348.   DOI: 10.11772/j.issn.1001-9081.2022010024
摘要986)   HTML49)    PDF (2110KB)(462)    收藏

针对基于循环神经网络(RNN)的深度知识追踪模型存在的可解释性不足和长序列依赖问题,提出一种融合注意力机制的时间卷积知识追踪(ATCKT)模型。首先,在训练阶段学习学生历史交互的嵌入表示;然后,使用基于题目的注意力机制学习特定权重矩阵,从而识别并强化学生的历史交互对每一时刻知识状态不同程度的影响;最后,使用时间卷积网络(TCN)提取学生动态变化的知识状态,在这个过程中利用扩张卷积和深层神经网络扩大序列学习范围,缓解长序列依赖问题。将ATCKT模型与深度知识追踪(DKT)、卷积知识追踪(CKT)等四种模型在ASSISTments2009、ASSISTments2015、Statics2011和Synthetic-5这4个数据集上进行对比实验,实验结果显示,所提模型的曲线下面积(AUC)和准确率(ACC)均有显著提升,尤其在ASSISTments2015数据集上表现最佳,分别提升了6.83~20.14个百分点和7.52~11.22个百分点,并且该模型的训练时间与DKT模型相比减少了26%。可见,所提模型可以更准确地捕捉学生的知识状态,更高效地预测学生未来的表现。

图表 | 参考文献 | 相关文章 | 多维度评价
2. 卷积神经网络中基于差分隐私的动量梯度下降算法
张宇, 蔡英, 崔剑阳, 张猛, 范艳芳
《计算机应用》唯一官方网站    2023, 43 (12): 3647-3653.   DOI: 10.11772/j.issn.1001-9081.2022121881
摘要636)   HTML110)    PDF (1985KB)(683)    收藏

针对卷积神经网络(CNN)模型的训练过程中,模型参数记忆数据部分特征导致的隐私泄露问题,提出一种CNN中基于差分隐私的动量梯度下降算法(DPGDM)。首先,在模型优化的反向传播过程中对梯度添加满足差分隐私的高斯噪声,并用加噪后的梯度值参与模型参数的更新过程,从而实现对模型整体的差分隐私保护;其次,为了减少引入差分隐私噪声对模型收敛速度的影响,设计学习率衰减策略,改进动量梯度下降算法;最后,为了降低噪声对模型准确率的影响,在模型优化过程中动态地调整噪声尺度的值,从而改变在每一轮迭代中需要对梯度加入的噪声量。实验结果表明,与DP-SGD (Differentially Private Stochastic Gradient Descent)相比,所提算法可以在隐私预算为0.3和0.5时,模型准确率分别提高约5和4个百分点。可见,所提算法提高了模型的可用性,并实现了对模型的隐私保护。

图表 | 参考文献 | 相关文章 | 多维度评价